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SYSTEMS DE CONCEPTION ET D' UTILISATION DE MODELES 

DECISIONNELS 



La presente invention se rapporte au domaine de 
5 1' intelligence artificielle et plus particulierement au 
domaine des modeles decisionnels . 

La presente invention se rapporte plus 
particulierement a un systeme de conception et 
d' utilisation de modeles decisionnels, un modele 
10 decisionnel etant un modele mathematique capable de prendre 
des decisions. Le systeme selon la presente invention 
possede des applications dans le domaine des jeux videos, 
cet exemple restant bien entendu non limitatif . 

15 L'art anterieur connait deja, • par la demande die 

brevet francais FR 2811449 (Mathematiques Appliquees S.A.)|; 
un systeme automat ique pour la prise de decision par un 
agent virtuel ou physique. Ce systeme automatique pour 1% 
prise de decision par un agent virtuel ou physique en 
20 fonction de variables externes provenant d'un environnement 
decrit par un modele numerique, et de variables internes a 
1' agent decrites par des parametres numeriques, comprend 
des moyens de selection d' actions a exercer par 1 ' agent a 
partir d'une variation d'une ou plusieurs desdites 
25 variables. Les parametres numeriques decrivant 1 • agent 
virtuel ou physique comportent des donnees numeriques 
representatives de la motivation de 1 • agent . La selection 
d' actions de 1 • agent virtuel ou physique est egalement 
fonction de la valeur desdites donnees representatives de 
la motivation de 1- agent. Le systeme presente dans cette 
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demande de brevet PCT presente 1 ' inconvenient de ne traiter 
uniquetnent des problematiques de choix binaires d' actions . 
Par exemple, ce systeme n'est pas capable de choisir des 
parametres utilises pour la realisation d' actions. Un autre 
5 desavantage de la solution de Mathematiques Appliquees vis- 
a-vis de la presente invention est de ne pas optimiser les 
ressources inf ormatiques mises a disposition. 

La presente invention entend remedier aux 
inconvenients de l'art anterieur en proposant un systeme 
10 automatique de gestion optimale des ressources logicielles 
et materielles utilisees. Le systeme selon la presente 
invention permet de plus de determiner un ensemble ideal de 
parametres pour chacune des actions. 

15 A cet effet, la presente invention concerne, dans son 

acception la plus generale, un procede automatique pour la 
prise de decision par un agent virtuel ou physique en 
fonction de variables externes provenant d'un environnement 
deer it par un modele numerique ou par des capteurs 
20 physiques, et de variables internes a 1 ' agent decrites par 
des parametres numeriques, et des moyens de prise de 
decision commandant les actions dudit agent caracterise en 
ce que ledit moyen de prise de decision determine les 
parametres d'une action au moins dudit agent, en fonction 
25 d'une partie au moins des variables internes ou externes, 
ladite operation de d6termination des parametres d'une 
action 6tant realisee par plusieurs sous-processus de 
decision fonctions chacun d'une partie au moins desdites 
variables externes et internes, et traitant une partie 
30 limit€e de la problematique dgcisionnelle generale, les 
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parametres determines par chacun desdits sous-processus 

Stant traites pour construire 1' ensemble des parametres 
d' action commandant ledit agent. 

5 Avantageusement, certaines variables internes sont 

des valeurs numeriques representatives de la perception. 

Selon un mode de mise en oeuvre particulier, certaines 
variables internes sont des valeurs numeriques 
representatives de la motivation. 
10 Selon une variante, certaines variables externes sont 

des valeurs numeriques representatives de 1 ' opportunity . 

De preference, le calcul des parametres, motivations 
et opportunity est effectue par un arbre de blocs de 
traitements, chacun des blocs de traitement correspondant a 
15 une fonction recevant des variables d' entree comprenant une 
partie des variables internes, et des variables externes et 
des variables de sortie d'un ou de plusieurs blocis de 
traitements amont . 

Avantageusement, lesdits blocs de traitements 
20 comprennent des operateurs logiques, des systemes experts 
et des operateurs mathematiques . 

De preference, le procede comporte un moyen 
d' interruption de ladite operation de determination des 
parametres consistant a commander 1' action de 1' agent avec 
25 les parametres determines i. partir des sous-processus 
traites avant 1' interruption. 

Avantageusement, 1' activation du moyen d' interruption 
est commandee en fonction de l'etat d'un compteur de 
traitements decr§ment€ du cout de chaque bloc de traitement 
30 utilise. 



De preference, le cout d'un bloc de traitement est 
determine par un parametre numgrique representat if du 
temps -machine ngcessaire a 1 ' execution du traitement dudit 
bloc . 

Avantageusement; ledit parametre numerique 
representatif du temps-machine est determine de manidre 
relative par rapport aux couts d'une partie au moins des 
autres blocs . 

Selon un mode de mise en ceuvre particulier, ledit 
moyen d' interruption est coramande par une fonction du 
systeme maxtre. 

De preference, le precede comporte des etapes 
d' interrogation du systdme maxtre apres chaque 
determination d'un ensemble de parametres pour une action, 
et d' activation dudit moyen d' interruption en fonction de 
la reponse du systeme maxtre a cette interrogation. 

De preference, le procede comporte des moyens 
d' ordonnancement des sous-processus par ordre d^croissant 
de 1' activation. 

Avantageusement, le procede comporte des moyens 
d'enregistrement de l'etat des arbres de calcul, des 
actuateurs et des sous -processus lors de 1 ' interruption, et 
des moyens pour la poursuite du processus decisionnel a 
partir des informations enregistrees . 

Selon une variante, plusieurs agents sont commandes a 
partir d'un modele decisionnel commun, ledit modele 
decisionnel comportant un moyen d' enregistrement des 
informations specif iques a chacun des agents. 



Avantageusement , le procede ne comporte pas d'etapes 
d' allocation dynamique de mSmoire pendant le traitement du 
modele d^cisionnel . 

De preference, le procede comporte des moyens de 
traitement des dependances logiques entre les sous- 
processus . 

Avantageusement, ledit moyen de traitement des 
dependances logiques consiste a modifier 1' activation du ou 
des sous -processus maitre en fonction de la plus haute 
activation des sous -processus dependants. 

De preference, le procede realise le traitement de 
variables externes multivalu§es issues de diffgrents objets 
per<?us de 1 ' environnement . 

Selon un mode de mise en oeuvre particulier, les, 
valeurs de sortie d'un bloc de traitement sont memorisees* 
au cours du cycle de traitement si elles sont utilisees pari 
un autre sous-processus . 

Avantageusement, lesdites valeurs de sorties sont: 
enregistrees dans une memoire commune a plusieurs blocs de 
traitement . 

De preference, le procede comporte un moyen de 
recalculer une ou plusieurs sorties d'un bloc de traitement 
dans le cas ou la memoire commune est saturee. 

De preference, le procede comporte un moyen de 
realisation d'un niveau de detail comportemental . 

Avantageusement, le procede comporte un mecanisme 
d' adaptation convergent quelle que soit la nature du signal 
d' apprentissage . 



Selon un mode de mise en oeuvre part icul ier , 
l'apprentissage est realist par un processus stochastique 
base sur la distribution de FISK. 

De preference, le proced<§ comport e des moyens de 
regroupement et d' enregistrement de souvenirs constitues 
d' informations correspondant a des perceptions ou a des 
resultats d'arbres de calcul . 

Avantageusement, le procede comporte une etape de 
regroupement des souvenirs sous forme de strates. 

Avantageusement, le procede comporte une etape de 
reconnaissance consistant a selectionner les souvenirs 
actif s . 

Selon une variante avantageuse, le proced£ comporte 
•une operation de creation d'un nouveau souvenir dans le cas 
d' absence de reconnaissance parfaite. 

Avantageusement, le procede comporte une operation de 
mise a jour des souvenirs actif s par remplacement des 
informations memorises par l'etat des informations 
calculees . 

De preference, le proced§ comporte une operation de 
calcul de la fiabilite des informations des souvenirs mis a 
jour. 

Selon un mode de mise en oeuvre particulier, le 
procede comporte des moyens de connexion entre les 
souvenirs et les actuateurs de la strate . 

Avantageusement la connexion s'effectue grace a des 
arbres de calcul gen^riques, communs a tous les souvenirs 
et utilisant les inf ormations du souvenir. 
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Selon une variante, le procedg comporte des moyens de 
liaison entre les souvenirs pour la creation des influences 
entre les souvenirs . 

Selon- une variante, le procede comporte une etape de 
5 propagation des influences entre les souvenirs par le biais 
de liaisons . 

Selon un mode de raise en oeuvre particulier, le 
procede comporte une optimisation des mises a jour des 
influences limitees aux influences ayant subie une 
.10 alteration. 

Selon un mode de mise en oeuvre particulier, le 
procede comporte une etape de transmission des informations 
modifiees au reste du modele decisionnel. 

Avantageusement , le procede comporte un moyen de 
15 transmission des informations modifiees par la crgatiop 
d'un objet virtuel . 

De pr6f6rence, le procede comporte un moyen d$ 
transmission des informations modifiees par la surcharge d1a 
resultat d'un bloc de traitement. 
20 De pr6f6rence, le precede comporte un mecanisme de 

gestion automatique du nombre de souvenirs utilises 
consistant a supprimer le souvenir le raoins utile. 

Selon une variante avantageuse, ledit mecanisme de 
gestion automatique du nombre de souvenirs est 
25 personnali sable lors de 1' etape de conception. 

Avantageusement, le procede comporte un mecanisme de 
gestion automatique du nombre de liaisons utilisees 
consistant a supprimer la liaison la moins utile. 
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On comprendra mieux 1' invention a 1'aide de la 
description, faite ci-apres a titre purement explicatif, 
d'un mode de realisation de 1' invention, en reference aux 

f igur e s annexees : 

o la figure 1 illustre la factorisation structuree 

des arbres de calcul ; 

o la figure 2 illustre 1 ' utilisation d'un groupe de 

perceptions ; 

• la figure 3 illustre les notions de dependance 
logique et de couche ; 

© la figure 4 illustre 1' ensemble de valeurs lie a 
un parametre ; 

• la figure 5 illustre la determination de la 
valeur optimale d'un parametre ; 

• la figure 6 represente la creation par scission 
d'un nouveau segment d' apprentissage ; 

• la figure 7 represente la determination des deux 
segments d' apprentissage a fusionner ; 

• la figure 8 illustre le m^canisme d' influence 
entre deux souvenirs par le biais d'une liaison ; 

• la figure 9 illustre le mecanisme de creation 
d'un objet virtuel par une liaison. 

L' architecture du systeme selon 1' invention s'appuie 
sur la notion de formalisme structurel et fonctionnel. Le 
modele est decrit par sa structure et par un nombre 
determine de symboles f onctionnels . 

Nous allons dans un premier temps donner quelques 
definitions de symboles fonctionnels afin de faciliter la 



comprehension de la description d'un mode de realisation de 
1' invention. 

Nous nommerons dans la suite ; 

» centre d'interet un sous-processus ne traitant 
qu'un seul des aspects du probleme decisionnel ; 

* ordre un resultat issu d'un centre d'interet 
comportant une valeur decrivant son interet pour le 
processus decisionnel, de 0 a n parametres decrivant la 
fa<?on d'executer 1' ordre, et eventuellement une reference k 
un objet cible de 1' ordre. 

Dans la suite de la description, les actions ou 
actuateurs decrivent les solutions du modele decisionnel et 
effectuent les traitements de la determination de 1' ordre., 
optimal . 

Les perceptions ou senseurs perraettent de recuperet 
les informations provenant du systeme maitre,v 
indispensables aux traitements des centres d'interet. 

On entend par bloc de traitement ou module specif ique 
de traitement un bloc effectuant une fonction math£matique . 

A chaque centre d' int£r§t est liee la notion de 
motivation. Celle-ci mesure 1 ' interet du modele decisionnel 
a satisfaire le centre d'interet correspondant . 

Pour chacun des actuateurs auxquels un centre 
d'interet est lie, on definit 1 ' opportunity comme la mesure 
de 1' interet d'un element externe (appartenant a 
l'environnement) pour le centre d'interet correspondant. 

Pour chacun des actuateurs auxquels un centre 
d'interet est lie, on definit un nombre fini de parametres 
representant la configuration a utiliser pour 1' execution 
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de l'actuateur pour le centre d'int<§r§t correspondant . Un 
parametre peut egalement §tre qualifie d' intensite . 

L'inter£t de 1 ' ordre est le produit de la motivation 
du centre d' interet par 1 ' opportunity . 11 peut done etre 
5 different pour chaque couple (centre d' interet, actuateur) . 

Toutes les valeurs (motivation, opportunity, 
parametre) sont calculees par des arbres de calcul . Ces 
arbres de calcul sont des graphes de type arbre dont la 
racine designe la valeur a calculer et les feuilles les 
10 valeurs utilis£es (perceptions) pour ce calcul. 

Ces arbres de calcul peuvent effectuer des fonctions 
mathematiques sur les informations en entree (perceptions) 
au moyen des blocs de traitement. La structure de 1' arbre 
determine ainsi 1' ensemble des calculs & effectuer. De par 
15 la nature graphique de la conception, les calculs sont 
factorises en r^utilisant un bloc de traitement dans 
plusieurs arbres de calcul. Ceci permet de conserver ' la 
structure minimale (totalement factorisee) des calculs. 
Ceci est illustr£ Figure 1. 

20 

Dans notre exemple, les perceptions peuvent etre 
representees par une liste d' objets, chaque objet pouvant 
etre d<§crit par un ensemble fini de perceptions. Les objets 
decrits par les memes perceptions appartiennent a la meme 
25 classe d' objets. L' ensemble des perceptions decrivant une 
classe d' objets forme un groupe de perceptions, comme 
l'illustre la Figure 2. 

Pour des raisons d' economies de ressources evidentes, 
30 les modeles d§cisionnels ne peuvent traiter directement des 
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combinaisons d' objets. En effet, si n objets sont pergus, 
n 2 combinaisons' devraient etre traitees. Cependant, il est 
possible de traiter certaines de ces combinaisons en 
associant 1'un des deux objets de la combinaison k un 
5 centre d'int<§ret, qui sera alors charge d'evaluer les 
combinaisons possibles avec cet objet. 

On dit qu'il y a une dependance logique entre deux 
centres d' interet (A dependant de B) lorsque : 
10 • B est connecte §l un actuateur ACT 

• ACT modifie le traitement effectue par un arbre 
de calcul utilise par A. 

Les dSpendances logiques cycliques sont. 
automat iquement coupees par le systeme, la prise en compte*. 
15 de la dependance n' aura lieu qu'au cycle suivant . La*, 
coupure est effectuee une seule fois, au chargement du\ 
moddle decisionnel. 

Un ensemble d' actuateurs et un ensemble de centred f * 
d' int§ret forment une couche s'ils sont isol<§s des autres 
20 centres d ; interet et actuateurs, ou si leurs seuls liens 
sont des dipendances logiques. 

La Figure 3 illustre les notions de couche et de 
dependance logique . 

25 Lorsqu'une couche A voit son traitement modifie par 

une autre couche B (dependance logique) au travers d'un 
actuateur ACT, on dit que B est maitre de A. On considdre 
que B envoie des ordres a A. Pour des raisons d r economies 
de ressources, il est possible de forcer 1' actuateur a 

30 appeler une fonction du systeme maitre, cette operation 
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rempla^ant alors la modification de la couche A. On dit 
alors que A est plus detaillSe que B. On cree ainsi deux 
niveaux de detail comportementaux. Un mecanisme adapt e mis 
en place au sein de l'actuateur permet lors de 
5 1 ' utilisation du moddle de specifier le niveau de detai.l 
comportemental desire . 

On appelle cycle de « reflexion » 1 ' utilisation du 
modele dgcisionnel pour obtenir une decision . Durant le 

10 cycle de reflexion, les informations fournies au module 
d^cisionnel sont invariantes. 

L' activation represente 1' importance pour le modele 
dgcisionnel de traiter le centre d' interSt correspondant. 
Elle est determine en integrant la motivation du centre 

15 d' int6r£t par rapport au temps (les cycles de reflexion) . 
Elle est remise a zero lorsque le centre d'intSrSt est 
traits. Elle favorise 1' execution de tous les centres 
d' int6r§t selon l'historique de leur motivation. 

Certains centres d' int6r§t sont des automates, ils ne 

20 possldent pas de motivation (pas d' act ivation) . Ils 
h<§ritent de la plus forte activation des centres d' interet 
dependants. A cet heritage est ajoute un « epsilon » 
(nombre positif tres proche de zero) . Ce mecanisme garantit 
que les dependances automatiques (centres d'interets 

25 automates maxtres) sont traitees avant les centres 
d ' interS t dependant s . 

La motivation n'est pas connect^e a un groupe de 
perceptions, car elle se rapporte a l'etat interne de 
l'entit§ consid6rSe utilisant le modele decisionnel 
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appartenant au systeme maitre. Ainsi, la motivation puis 
1' activation peuvent Stre rapidement calculees . 

Lie modele decisionnel met en oeuvre une £tape de tri 
des centres d' interet selon leur activation. Les centres 
5 d' interet sont alors traites dans cet ordre, de la plus 
forte activation a la plus faible. Ce systeme permet 
d'obtenir des decisions coherentes meme si le processus 
d§cisionnel est interrompu avant d' avoir traite tous les 
centres d' interet . Ainsi, les traitements realises au sein 
10 du systeme affichent un caractere interrupt ible tout en 
maintenant une certaine coherence. 

Les traitements realises au sein du systdme selon 
1' invention sont principalement mis en oeuvre par les 
15 centres d'interSts. L'objectif principal des centres 
d' int£r£t est de calculer les ordres transmis " aux 
actuateurs auxquels ils sont connectes . Pour ce faire,-- ils 
utilisent les arbres de calcul definis lors de 1'etape de 
conception du modele decisionnel. 

20 

Les autres traitements sont realises au sein des 
actuateurs. Ils concernent la gestion des ordres regus. 

Chaque actuateur formalise une partie du resultat 
souhaite. Les actuateurs etant independants entre eux, un 
25 m£canisme local suffit pour la determination d'un resultat 
satisfaisant 1' ensemble des critlres decisionnels . Une 
§tape de concertation entre les actuateurs n'est done pas 
nScessaire, ce qui conduit naturellement a une optimisation 
des calculs mis en oeuvre. 
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Un mecanisme local d' influence entre les ordres 
permet §l 1 ' actuateur de determiner une solution globale . 
Pour mesurer 1' influence d'un ordre A sur un ordre B, 
1 ' actuateur calcule la complementarite de A vis-a-vis de B . 
5 Cette complementarite est comprise entre 0 (ordres 
incompatibles) et 1 (ordres totalement complement aires) . 
Elle pondere 1'interet de A re?u par B. La complementarite 
est calculee en faisant appel a une fonction definie dans 
le systeme max t re . 

10 L'ordre qui possede apres influence 1'interSt le plus 

eleve sera execute. Avant cela, il est necessaire de 
calculer les valeurs optimales de ses parametres . Chaque 
parametre est decrit par trois valeurs : 

la valeur initiale p du parametre 

15 - une valeur m representant une marge dans laquelle 

les valeurs du parametre sont consid^rees comme id^ales 

une valeur s representant une marge de s6curit6 
dans laquelle les valeurs du parametre sont €ligibles mais 
moins interessantes . 

20 La Figure 4 represente 1' ensemble des valeurs 

possibles decrit par (p, m, s) . 

La valeur optimale de chaque parametre est comprise 
entre (p-m-s) et (p + m + s) . On utilise 1'interet comme 
critere de selection. On calcule, pour chaque valeur 

25 possible, l'int6r£t cumule (provenant des differents 
ordres) . La valeur optimale est alors d6sign6e par la 
valeur possedant l'int§r§t cumule le plus important. S'il 
s'agit d'un segment, soit l'une des deux valeurs extremes , 
soit la valeur correspondant au centre du segment est 

30 s^lectionnee . 
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La Figure 5 illustre le calcul de la valeur optimale 
d'un parametre. 

Pour des raisons de cout memoire, chaque actuateur ne 
5 peut gerer qu'un nombre limite d' ordres (nombre fixe par 
1 ' ut ilisateur lors de 1'etape de conception). Un procede 
interne de fusion des ordres permet de respecter cette 
limite sans perdre trop d' informations . Ce procede supprime 
l'ordre le moins interessant et possedant la 

10 compl§mentarite la plus elevee. Son influence sur l'ordre 
dont il est complement a ire est def initivement integree dans 
ce dernier. En d'autres termes, il s'agit de determiner le 
couple d' ordres (A, B) pour lequel la compl^mentarite est la 
plus elevee. On supprime alors l'ordre A et on modifie 

15 l'ordre B afin de prendre en compte l'int6r@t de A. Si deux 
couples ( A , B) et (C,D) possedent les memes 
compl£mentarit£s , on supprime de A ou de C celui qui 
possede le plus f aible interSt . 



20 Chaque actuateur integre une notion de persistance. 

II existe trois persistances possibles, qui modifient son 

f one t i onnement : 

volatile : les ordres sont executes directement 

dSs qu'ils sont re<?us par 1 ' actuateur sans qu'aucun 
25 m£canisme d' influence n'intervienne. lis sont ensuite 

effaces du systdme. 

Persistant : les ordres ne sont conserves que 

durant le cycle de reflexion, lis sont effaces au d§but de 

chaque nouveau cycle . 
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Statique : les ordres sont conserves entre les 
cycles de reflexion. A chaque ordre est associe un arbre de 
calcul particulier nomm6 satiete (comprise entre 0 et 1) . 
Au debut de chaque nouveau cycle, le complementaire a 1 de 
5 la valeur de la satiete pondere l'int6r£t de l'ordre. Si la 
satiete est elevee, l'interet est faible, ce qui provoque 
la fusion de l'ordre. Un ordre d' interet nul est 
immediatement efface . 

10 Apres avoir decrit le mecanisme de selection 

d' actions, nous allons nous attacher dans une seconde 
partie a examiner le mecanisme d' adaptation. 

Le mecanisme d' adaptation mis en place est localise 
15 et controle : 

• Localisation : Le mecanisme d' adaptation est mis 
en ceuvre au niveau de certains blocs de traitement 
particuliers appeles « blocs de traitement 
adaptatifs ». Ainsi, seuls les arbres de calculs 

2 0 utilisant ces blocs seront susceptibles de s' adapter* 

* Controle : Le mecanisme d' adaptation est 
declenche par un actuateur particulier appele 
« surveillant ». Ses paramdtres representent chacun 
un jugement porte sur la situation actuelle* 

25 

Le jugement ou signal d' apprentissage est represent^ 
par une valeur pouvant Stre de trois natures differentes : 
® Echec : plus la valeur est elevee, plus la 
situation jugSe est def avorable . 
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® Reussite : plus la valeur est elevee, plus 
la situation jugee est favorable. 

® Echec dichotomique : en plus de mesurer un 
echec, le jugement fournit une indication sur le 
sens de 1 ' adaptation . Cette nature ne peut etre 
utilisee que pour les arbres de calcul lies aux 
parametres (a valeur exacte et non a valeur 
relative, cette derniere decrivant la motivation 
et 1 ' opportunity) . 



La nature mathematique du jugement (continu ou 
discret, simple ou dichotomique) influence de maiiidre 
significative la convergence de 1 ' adaptation. Le mecanisme 
d' adaptation mis en place au niveau du bloc de traitement 

15 adaptatif doit . absolument fonctionner quelle que soit la 
nature du jugement re<?u. 

L' adaptation au sein des blocs de traitement 
adaptatif s'effectue en faisant varier les parametres 
d'apprentissage. Ces parametres sont utilises lors du 

2 0 traitement effectu<§ par le bloc. En les faisant varier, on 
modifie ce traitement. Les valeurs possibles de ces 
parametres doivent appartenir a un ensemble fini, borne et 
ordonne . 

Chaque bloc de traitement adaptatif est caracterise 
25 par une fiabilite qui mesure 1' adequation du bloc avec les 
situations rencontrees. Elle est comprise entre 0 et 1 . 
Elle est calculee selon la formule suivante : 
Soit e 1 ' erreur mesuree 
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FiabilitS *n + l-e 



Si ValAbs (Fiabilite n+1 - Fiabilit§ n ) > £ , alors n = n 

+ 1. 

5 La nouvelle valeur d'un parametre d' apprentissage est 

calculSe selon la formule : 

Soit e 1'erreur associee au signal, 
Soit f la fiabilite du bloc, 
Soit a la valeur actuelle du parametre, 
10 Soit p un nombre aleatoire compris entre 0 et 1, 



Valeur- a + e 




La nouvelle valeur ainsi calculee suit la 
distribution dite de Fisk, qui peut etre rendue sym^trique. 
15 Considerons trois exemples de blocs 

d' apprentissages : 

© Le bloc d' apprentissage ponderation 

• Le bloc d' apprentissage pluri lineaire 

• Le bloc d' apprentissage neural. 

20 

Le bloc d' apprentissage ponderation ne possede qu'un 
seul parametre d' apprentissage * Ce bloc possede deux modes 
de f onctiormement selon qu'il possdde ou non une entree :• 
«> Mode ponderation : si le bloc possede une entree, 
25 il pondere alors son entree par son parametre 

d' apprentissage (produit) 
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<y Mode generation : si le bloc ne possede pas 
d ; entr§e, il renvoie simplement son parametre 
d' apprentissage, comme si son entree £tait 1. 

5 L ; apprentissage du parametre d ' apprent i ssage 

s'effectue simplement en appliquant a la lettre les 
indications pr£c«§dentes . Lorsque le bloc regoit un signal 
d ' apprent i s s age : 

• II utilise la moyenne des valeurs d' entree 
10 references 

• La reference d' apprent issage est obtenue en 
multipliant cette moyenne par le parametre 
d' apprentissage actuel 

• li'echelle s'obtient classiquement en fonction de 
15 la fiabilit£ et du signal 

• Le nouveau parametre d' apprentissage est obtenu 
en divisant la valeur apprise par la moyenne des 
valeurs d' entree references. 



20 Soit i la moyenne des valeurs d' entree references, 

Soit w la valeur du parametre d' apprentissage , 

Soit e l'erreur associ^e au signal, 

Soit f la fiabilit€ du bloc d ' apprentissage , 

Soit w' la nouvelle valeur du parametre d' apprentissage, 

25 Soit a la localisation, 

Soit i> 1'echelle, 



On a 

30 



a = w*i 

b = e* (1-f) 

W m (a + b*Fisk)/ i 
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et ceci, quel que soit i non nul- 

Concernant le bloc d' apprentissage pluri lineaire, le 

5 concept est de decomposer la fonction ideale en un ensemble 
de segments, appeles segments d' apprentissage . Chaque 
segment d' apprentissage approxime une portion continue de 
la fonction ideale. II possede ses propres parametres 
d' apprentissage : pente et ordonnee a 1'origine. Ce bloc 
10 d' apprentissage regroupe ainsi plusieurs parametres 
d' apprentissage : les pentes et les ordonnles a 1'origine 
des segments d' apprentissage . 

Soit a la pente, 
15 Soit b l'ordonnle & 1'origine, 

y = a*x -f b 

Chaque segment d' apprentissage comprend deux limites 
20 de definition. II enregistre une moyenne des valeurs 
d' entree utilisees correspondant a ses limites de 
definition. 

Le segment calcule la valeur de sortie ideale comme 
precedemment . La valeur d' entree memorisee correspond en 

25 fait £ la moyenne des valeurs d' entree utilisees. Un 
nouveau point d' apprentissage est cr6£ . Le bloc 
d' apprentissage effectue alors une scission du segment 
d' apprentissage concern^ au point d' entree utilise. II cr§e 
ainsi deux segments d' apprentissage £ partir d'un seul . La 

30 figure 6 resume le f onctionnement de cette scission. 
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Les parametres d' apprentissage sont alors calculus 
comme suit : 

Soient xl et yl les coordonnees ciu premier point 
5 d' apprentissage, 

Soient x2 et y2 les coordonnees du second point 
d' apprentissage, 

Soit a la pente de 1' equation lin£aire, 
Soit b I'ordonnSe l'origine de 1' equation lineaire, 
10 a (y2 - yl)/(x2 xl) si deux points 

d' apprentissage' 

a » 0 sinon 

b = xl*a + yl si un point d' apprentissage 
b = 0 sinon 

15 

Le nombre maximum de segments est defini lors de 
1'Stape de conception. / 

Lorsque ce nombre est depasse, le bloc 
d' apprentissage precede a une « fusion ». La fusion 

20 consiste & choisir l'un des points delimitant deux segments 
d' apprentissage et & 1'eliminer. Les deux segments 
adjacents recalculent alors leur parametre d' apprentissage 
en consequence. La fusion correspond ^ une perte 
d' information pour le bloc. II va done minimiser cette 

25 perte. Cette perte est liee £ plusieurs facteurs : 

• Fiabilite du segment d' apprentissage : plus le 
segment est fiable, moins il est preferable de le 
modifier. 

• Surface du triangle forme par les extremit^s du 
30 nouveau segment et le point & eliminer ; cette 
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surface repr§sente 1 ' information perdue lors de 
1' elimination perdue du point concern^. 

Elle se calcule selon la formule : 

5 

Soit f la fiabilite, 

Soit 2 la difference entre les abscisses, 
Soit h la difference entre les ordonnees, 

10 Information = (1/2) *£*l*h 

La Figure 7 raontre comment s' applique ce processus de 
fusion. 

15 Le bloc d' apprentissage neural se decompose en deux 

fonctions. La premi&re utilise les param&tres 
d' apprentissage pour ponderer les entrees du bloc : un 
paramdtre d' apprentissage par entree. Elle les combine en 
effectuant une somme , La seconde permet de seuiller la 

20 sortie. Par defaut, cette sortie est une sigmolde. 

Soit la fonction de modification du resultat, 

Soit f comb la fonction de combinaison des entries, 
Soit k la raideur de la sigmoide 

25 

f^U) « Cexp (k*x) - l)/( exp (k*x) + 1) 



fcoM = Y*' entrSe t* w i 

i 
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L 7 apprentissage s'effectue pour chacune des entrees. 
Le signal d' apprentissage regu par le bloc d' apprentissage 
est done utilise par toutes les entrees. La reference 
d 7 apprentissage est la moyenne des valeurs utilisees depuis 
5 le dernier signal d 7 apprentissage . L'Schelle se calcule 
comme precedemment . 

Le resultat de 1 7 apprentissage est alors une nouvelle 
valeur pour le parametre d' apprentissage . Deux grandes 
differences de fonctionnetnent distinguent le bloc 
10 d' apprentissage neural, d'un neurone classique : 

• L 7 utilisation de la fiabilit# : les r^seaux de 
neurones utilisent un facteur d 7 apprentissage 
similaire, herite des methodes de recuit simule 
(alors appele temperature) • La f iabilite permet de 

15 remplacer ce parametre avantageusement., Sa valeur 

depend en effet des signaux d 7 apprentissage re<?us, 
et n'est done pas arbitraire. 

• Un apprentissage stochastique : il est possible 
de rendre le bloc d' apprentissage neural non 

20 stochastique. Cependant, la convergence peut alors 

se heurter a la pauvrete de certains signaux 
d 7 apprentissage . Les r<§seaux de neurones 
conventionnels utilisent en effet un signal 
d' apprentissage continu mesurant l'echec. 

25 

Aprds avoir d§crit les mecanismes de selection 
d 7 actions et d 7 adaptation, nous allons etudier la 
modelisation et la planif ication dynamique. 

On distingue deux concepts permettant la creation 
3 0 d'un module aussi riche que souhaitS : 
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o Le souvenir : il permet de memoriser un ensemble 
d' informations . Cet ensemble represente un concept 
du systdme tnaitre. Chacun de ces ensembles 
d' informations decrit une classe de souvenirs. 
5 » La liaison : elle permet de decrire les 

influences qui modifient les souvenirs lies entre 
eux. 



La liaison s'apparente en realite a un actuateur qui 
10 va modifier les informations d'un souvenir. Ces 
modifications sont engendrees par les souvenirs qui vont 
done envoyer des ordres £ 1' actuateur liaison. Les 
souvenirs sont done des centres d' interet . 



15 Chaque souvenir appartient a une classe determinee 

qui specif ie les informations qu' il contient. Ces classes 
sont appelees classes de souvenir. Tous les souvenirs 
appartenant a une meme classe forment une strate de 
souvenirs . 

20 Les souvenirs appartenant a une meme strate sont 

crees par un actuateur appele « actuateur memoriser » . 
Chacun de ces parametres determine la valeur d'une 
information du souvenir. 

Les informations memorisees dans un souvenir 

25 proviennent d'arbres de calcul. Elles sont done plus ou 
moins directement issues des percepteurs . 

« L' actuateur memoriser », lors de son execution, 
propose aux souvenirs existants la creation d'un nouveau 
souvenir. Chaque souvenir existant va alors essayer de 
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s' identifier dans le souvenir propose : c'est 1'gtape de 
reconnaissance. 

On appelle objet reference du souvenir ou plus 
s implement reference du souvenir un identifiant provenant 
5 du systeme maitre et designant 1' objet source qui est a 
1 ' origine du souvenir . 

La reconnaissance s'effectue au moyen d'un arbre de 
calcul specif ique appel6 arbre de reconnaissance, conqu 
pour chaque strate de souvenirs. En cas d' absence de cet 
10 arbre, le systdme procede a une reconnaissance directe par 
reference . 

Si aucun souvenir ne se reconnait parfaitement dans 
le souvenir propose, un nouveau souvenir est cree . Ce 
nouveau souvenir s'identifie done parfaitement au souvenir 
15 propose . 

Tous les souvenirs parvenant a s' identifier m§me 
partiellement , au souvenir propose deviennent les souvenirs 
actifs. Ces souvenirs ne peuvent transmettre leur influence 
aux autres souvenirs. Ce sont les receptacles des 
20 influences des autres souvenirs. 

Les souvenirs actifs modifient leurs informations 
pour correspondre parfaitement au souvenir propose. Cette 
etape correspond a la mise & jour des souvenirs. 

Chaque information regroupe trois valeurs 
25 distinctes : 

• L' information m^morisee (information de 
reference) : cette valeur correspond au resultat de 
l f arbre de calcul lors de la derniere memorisation. 

♦ L' information modifiee (information chargle) : 
30 cette valeur correspond a 1 ' information mgmorisee 
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(information de reference) , modif iee par les 
souvenirs 1 ies . 

© La fiabilite de 1' information : cette valeur 
permet de mesurer la stability dans le temps de 
1 ' information memoris£e. Elle se calcule selon la 
formule : 
Soit e 1 ' erreur mesuree 

Fiabilite n * n + 1 - e 



FiabilitS nJ , x = " 



n + l 



10 

Si ValAbs (Fiabilit6 n+1 - Fiabilit6 n ) > 8 , alors n = n 
+ 1. 



La fiabilite globale d'un souvenir se calcule en 
15 effectuant la moyenne des fiabilites de ses informations. 



Les souvenirs sont automat iquement connectes lors de 
leur creation aux actuateurs presents dans la strate. Ces 
actuateurs sont appeles « actuateurs de strate » . 
2 0 Les arbres de calcul n^cessaires au calcul des ordres 

peuvent utiliser les informations des souvenirs grace des 
percepteurs specif iques . Ces arbres de calcul sont dits 
gSneriques, puisqu'ils sont partag^s par tous les 
souvenirs . 

25 L'objet source d'un ordre envoye & un actuateur de 

strate est tou jours la reference du souvenir qui est a 
1'origine de cet ordre. 
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Parmi les actuateurs de strate, les « actuateurs 
lier » permettent de creer une liaison vers un souvenir 
cible. Un seul actuateur lie permet de gerer 1' ensemble des 
souvenirs cibles. Ces actuateurs sont des actuateurs 
5 generiques. A chaque creation d'un nouveau souvenir, 
1 ' actuateur li6 correspondant est mis jour. 

Les liaisons permettent a un souvenir d'en influencer 
un autre, c'est-a-dire de modifier ses informations 
(1 ' information est alors dite chargee) , comme 1'illustre la 
10 Figue 8 . 

Les liaisons dont la cible est un souvenir actif ne 
propagent pas leur influence sur ce souvenir. Par contre, 
elles utilisent leur influence pour modifier la couche qui 
va utiliser les souvenirs. Cette modification peut prendre 
15 deux formes : 

- la creation d'un objet virtuel : un nouvel -objet 
qui n'existe pas reellement dans le systdme maitre 
va Stre cre6 et perqru par la couche ; 

- la surcharge d'un bloc de traitement : le 
20 resultat d'un bloc de traitement utilise par la 

couche est remplac§, le systeme se met alors & jour 
automat iquement . 

La Figure 9 represent e la creation d'un objet virtuel 
25 par une liaison. 

Le calcul de 1 ' ensemble des influences est un calcul 
long, d'une complexity de l'ordre de n 2 , n etant le nombre 
de souvenirs . 
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Cependant, le syst§me est capable de ne gerer que les 
mises a jour n§cessaires, correspondant £ un changement de 
souvenirs actifs ou a une modification des informations 
d'un souvenir. Ce precede garantit done un traitement 
5 incremental qui peut etre reparti dans le temps. 

Les strates de souvenirs sont capables de gerer 
automat iquement les ressources memoire qu'elles consomment . 
La creation des souvenirs et des liaisons ayant deja ety 
10 abordee, un actuateur de strate specif ique appel§ 
« actuateur oublier » permet de gerer leur destruction. 

II est important de noter que cet actuateur existe, 
qu'il ait yty cree ou non lors de l'£tape de conception. 
Son comportement par defaut consiste a yiiminer le souvenir 
15 et/ou la liaison la moins utile. 

L' utility d'un souvenir depend de deux facteurs 
principaux : 

- 1 ' opportunity calculee lors de la creation ou 
derniere mise & jour du souvenir permet de 

20 connaitre son utilite pour le modele decisionnel. 

- Le nombre de mises a jour du souvenir pondere par 
sa fiabilite permet de connaitre la « certitude » 
du souvenir. 

L f utility d'un souvenir se calcule done selon la 
25 formule : 

Utilite a (Opportunity) * (Fiabilite) * (Nombre de mises a 
jours) 

L' utility d'une liaison dypend de deux facteurs : 

- utility du souvenir cible 



- opportunity calculee pour la creation de la 
liaison, qui raesure l'interet de cette liaison pour 
le modele decisionnel. 

L' utilite d'une liaison se calcule done selon la 
formule : 

Utilite =. (Opportunite) * (Utilite (Souvenir cible) ) 

II est possible lors de l'etape de conception de 
specifier un « actuateur oublier ». Get actuateur possede 
un seul parametre qui determine un pourcentage de la 
fiabilite du souvenir a conserver. 



L' invention est decrite dans ce qui precede a 'titre 
d'exemple. II est entendu que 1-homme du metier est a mime 
de realiser differentes variantes de 1- invention sans pour 
autant sortir du cadre du brevet. 
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1. Precede automatique pour la prise de decision par 
un agent virtuel ou physique en fonction de variables 
externes provenant d'un environnement decrit par un modele 
numerique ou par des capteurs physiques, et de variables 
internes a 1 ' agent decrites par des parametres numeriques, 
et des moyens de prise de decision commandant les actions 
dudit agent caracterise en ce que ledit moyen de prise de 
decision determine les parametres d'une action au moins 
dudit agent, en fonction d'une partie au moins des 
variables internes ou externes, ladite operation de 
determination des parametres d'une action etant realisee 
par plusieurs sous-processus de decision fonctions chacun 
15 d'une partie au moins desdites variables externes et 
internes, et traitant une partie limitee de la 
problematique decisionnelle generale, les parametres 
d6termines par chacun desdits sous-processus etant traites 
pour construire 1' ensemble des parametres d' action 
20 commandant ledit agent. 



2 - ProcedS automatique selon la revendicat ion 1, 
caracterise en ce que certaines variables internes sont des 

25 valeurs numeriques representatives de la perception. 

3 - Proced6 automatique selon la revendication 1, 
caracterise en ce que certaines variables internes sont des 
valeurs numeriques representatives de la motivation. 

30 



4 - Procedg automatique selon la revendicat ion 1, 
caracterise en ce que certaines variables extemes sont des 
valeurs numeriques representatives de 1 ' opport unite . 

5 - Procede automatique selon la revendicat ion 1, 
caracterise en ce que le calcul des parametres, motivations 
et opportunites est effectue par un arbre de blocs de 
traiternents, chacun des blocs de traitement correspondant a 
une fonction recevant des variables d' entree comprenant une 
partie des variables internes, et des variables externes et 
des variables de sortie d'un ou de plusieurs blocs de 
traiternents amont . 

6 - Procede automatique selon la revendicat ion 5;, 
caracterise en ce que lesdits blocs de traiternents 
coraprennent des opgrateurs logiques, des systemes experts 
et des operateurs mathematiques ♦ 

7 - Procede automatique selon la revendicat ion 1, 
caracterisg en ce qu' il comporte un moyen d' interruption de 
ladite operation de determination des parametres consistant 
a commander 1' action de 1' agent avec les parametres 
d<§termin€s & partir des sous-processus traites avant 
1' interruption. 

8 - Procede automatique selon la revendicat ion 7, 
caracterise en ce que 1' activation du moyen d' interruption 
est commandee en fonction de l'etat d'un compteur de 
traiternents decr6ment<§ du cout de chaque bloc de traitement 
utilise. 
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9 - Procede automatique selon la revendication 8, 
caracterise en ce que le cout d'un bloc de traitement est 
determine par un parametre numerique representat if du 
temps-machine necessaire a 1' execution du traitement dudit 
bloc . 

10 - Proc§de automatique selon la revendication 9, 
caracterise en ce que ledit parametre numerique 
representatif du temps-machine est determine de maniere 
relative par rapport aux couts d'une partie au moins des 
autres blocs . 

11 - Precede 1 automatique selon la revendication 7, 
caracterisl en ce que ledit moyen d' interruption est 
commande par une fonction du systeme malt re. 

12 - Procgde' automatique selon la revendication 7, 
caracteris6 en ce qu' il comporte des etapes d' interrogation 
du systeme maitre apres chaque determination d'un ensemble 
de parametres pour une action, et d' activation dudit moyen 
d' interruption en fonction de la reponse du systeme maitre 
a cette interrogation. 

13 - Proc<§dS automatique selon la revendication 7, 
caracterise en ce qu'il comporte des moyens 
d'ordonnancement des sous -processus par ordre decroissant 
de 1' activation. 

14 - Proc6d£ automatique selon la revendication 7, 
caracterise en ce qu'il comporte . des moyens 
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d'enregistrement de l'etat des arbres de calcul, de 
actuateurs et des sous -processus lors de 1 ' interruption, e 
des moyens pour la poursuite du processus decisionnel a 
partir des informations enregistrees . 

15 - Procede automatique selon la revendication 1, 
caracterise en ce que plusieurs agents sont commandes a 
partir d'un modele decisionnel commun, ledit modele 
decisionnel comportant un moyen d'enregistrement des 
informations specif iques a chacun des agents. 

16 - Procede automatique selon la revendication 1, 
caractirisg en ce qu' il ne comporte pas d'etapes 
d' allocation dynamique de memoire pendant le traitement du 
module decisionnel . 

17 - Procede automatique selon la revendication r l, 
caracterise en ce qu'il comporte des moyens de traitement 
des dependances logiques entre les sous -processus . 

18 - Procede automatique selon la revendication 17, 
caracterise en ce que ledit moyen de traitement des 
dependances logiques consiste a modifier 1' activation du ou 
des sous-processus maitre en fonction de la plus haute 
activation des sous-processus dependants. 

19 - Procede automatique seion la revendication l, 
caracterise en ce qu'il realise le traitement de variables 
externes multivalu6es issues de differents objets percus de 
1 ' envi ronneraent . 
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20 - Proced§ automat ique selon la revendication 5, 
caracterise en ce que les valeurs de sortie d'un bloc de 
traitement sont memorisees au cours du cycle de traitement 
si elles sont utilisees par un autre sous -processus . 

21 - Procede automatique selon la revendication 20, 
caracterise en ce que lesdites valeurs de sorties sont 
enregistrees dans une memoire commune a plusieurs blocs de 
traitement . 

22 - Procede automatique selon la revendication 21, 
caracterise en ce qu'il comporte un moyen de recalculer une 
ou plusieurs sorties d'un bloc de traitement dans le cas oil 
la metnoire commune est satur^e. 

23 - Proc§d6 automatique selon la revendication 1, 
caracterise en ce qu'il comporte un moyen de realisation 
d'un niveau de detail comportemental . 

24 - Proc6de automatique selon la revendication 1, 
caracterise en ce qu'il comporte un mecanisme d' adaptation 
convergent quelle que soit la nature du signal 
d' apprentissage . 

25 - Procede automatique selon la revendication 24, 
caracterise en ce que 1 1 apprentissage est realise par un 
processus stochastique bas§ sur la distribution de FISK. 
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26 - Procedg automatique selon la revendication 1, 
caracterise en ce qu' il comporte des moyens de regroupement 
et d' enregistreraent de souvenirs constitues d' informations 
correspondant a des perceptions ou a des resultats d'arbres 
de calcul . 

27 - Procede automatique selon la revendication 26, 
caracterise en ce qu'il comporte une etape de regroupement 
des souvenirs sous forme de strates . 

28 - Procede automatique selon la revendication 26, 
caracterise en ce qu'il comporte une etape de 
reconnaissance consistant a selectionner les souvenirs 
actifs. 

29 - Procede automatique selon la revendication 28, 
caracterise en ce qu'il comporte une operation de creation 
d'un nouveau souvenir dans le cas d' absence de 
reconnaissance parfaite. 

30 - Procede automatique selon la revendication 28, 
caracterise en ce qu'il comporte une operation de mise a 
jour des souvenirs actifs par remplacement des informations 
memorisees par l'etat des informations calculees. 

31 - Procede automatique selon la revendication 30, 
caracterise en ce qu'il comporte une operation de calcul de 
la fiabilite des informations des souvenirs mis a. jour. 
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32 - Procede automatique selon la revendicat ion 27, 
caracterise en ce qu' il comporte des moyens de connexion 
entre les souvenirs et les actuateurs de la strate . 

33 - Procede automatique selon la revendication 32, 
caracteris6 en ce que la connexion s'effectue grace a des 
arbres de calcul generiques, communs a tous les souvenirs 
et utilisant les informations du souvenir. 

34 - Procede automatique selon la revendication 26, 
caracterise en ce qu' il comporte des moyens de liaison 
entre les souvenirs pour la creation des influences entre 
les souvenirs. 

35 - Proc£d6 automatique selon la revendication 34, 
caracterise en ce qu' il comporte une etape de propagation 
des influences entre les souvenirs par le biais de 
liaisons . 

36 - Procede automatique selon la revendication 35, 
caracterise en ce qu'il comporte une optimisation des mises 
a jour des influences limitees aux influences ayant subie 
une alteration. 

37 - Procede automatique selon la revendication 35, 
caracterise en ce qu'il comporte une etape de transmission 
des informations modifiees au reste du modele decisionnel . 



38 - ProcedS automatique selon la revendication 37, 
30 caracterise en ce qu'il comporte un moyen de transmission 
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des informations modifiees par la creation d'un ob j et 
virtuel . 

3 9 - Procede automat ique selon la revendication 37, 
5 caracterise en ce qu' il comporte un moyen de transmission 

des informations modifiees par la surcharge du resultat 
d'un bloc de traitement . 

4 0 - Proc£d<§ automatique selon la revendication 26, 
10 caracterise en ce qu' il comporte un mecanisme de gestion 

automatique du nombre de souvenirs utilises consistant a 
supprimer le souvenir le moins utile . 

41 - Procede automatique selon la revendication 40, 
15 caracterise en ce que ledit mecanisme de gestion 

automatique du nombre de souvenirs est personnali sable-; lors 
de 1'etape de conception. 

42 - Procede automatique selon la revendication 35, 
20 caracterise en ce qu'il comporte un mecanisme de gestion 

automatique du nombre de liaisons utilis^es consistant a 
supprimer la liaison la moins utile. 
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